UI Automation Modern

UI Automation Modern utilise une combinaison de technologies pour identifier et localiser les éléments d'IU : sélecteur complet, sélecteur de correspondances approximatives et image, le tout encapsulé dans un algorithme basé sur des ancres.

Attention : à partir de la v2020.10, le package UIAutomation Next est obsolète et le package UIAutomation existant a été étendu pour inclure toutes les fonctionnalités modernes précédemment disponibles dans UIAutomationNext. Vous pouvez également installer le package d’activités unifié UIAutomation même sur les versions Studio 2020.4.1 et inférieures. Cela affiche toutes les activités classiques et modernes dans le volet Activités. En savoir plus sur Modern Design Experience.

UI Automation Modern contient des activités qui vous permettent d'automatiser les interactions d'IU les plus courantes. La première étape de l’automatisation des interactions d’interface utilisateur consiste à définir l’application de bureau ou la page Web avec laquelle interagir en ajoutant une activité Utiliser l'application/le navigateur (Use Application/Browser). Ajoutez ensuite les activités de cette application ou page Web devant être automatisées à l’intérieur de l’activité Use Application/Browser.

Pour accélérer le processus, vous pouvez utiliser l’enregistreur d’application/Web qui génère automatiquement des activités en capturant vos actions à l’écran.

Remarque : l'activité Extraire les données de table (Extract Table Data) et l'enregistreur d'application/Web ne sont pas compatibles avec les versions 2019.10.4 et antérieures de Studio.

Prise en charge des navigateurs Web

Le package UI Automation Next prend en charge les navigateurs Web suivants :

Internet Explorer v8.0 ou versions ultérieures
Google Chrome version 64 ou versions ultérieures
Mozilla Firefox version 52.0 ou versions ultérieures
Microsoft Edge Chromium version 79 ou ultérieure sur Windows 10 version 1803 ou ultérieure. Edge Legacy n’est pas pris en charge.

Méthodes de ciblage

UI Automation Next utilise une combinaison des méthodes suivantes pour identifier les éléments d’IU :

Sélecteur - Fragment XML qui stocke les attributs d'un élément et de ses éléments parents, y compris l'application cible.
Sélecteur de correspondances approximatives : un sélecteur qui prend en compte les modifications possibles des attributs d'un élément, en les identifiant en fonction d'un modèle plutôt que d'une correspondance exacte. Cette méthode fonctionne mieux lorsqu'elle est utilisée avec des ancres.

Vous pouvez trouver plus d'informations sur les sélecteurs dans le guide Studio.
Image - Une image dans la fenêtre de l'application qui identifie l'élément, par exemple une icône ou un bouton.

À propos des cibles et des ancres

Une cible est un élément d’IU avec lequel vous souhaitez interagir (par exemple, un bouton sur lequel cliquer, une zone de texte dans laquelle saisir du texte ou une partie de page Web à partir de laquelle copier du texte).

Une ancre est un autre élément à proximité qui permet d'identifier uniquement la cible. Lorsque vous indiquez une cible, UiPath tente d’identifier et de sélectionner automatiquement une ancre. Vous pouvez également ajouter manuellement trois ancres maximum.

Quand utiliser une ancre

Les ancres sont utiles lorsqu’un élément cible n’est pas unique. Par exemple, un formulaire dans une application de bureau contient généralement plusieurs zones de texte similaires dans lesquelles saisir diverses données. Pour identifier les données à saisir dans chacune d’elles, vous regardez les libellés à côté d’elles. De même, lorsque le libellé d’une zone de texte est ajouté comme ancre, le robot utilise l’ancre pour identifier la zone de texte dans laquelle saisir du texte.

Dans certains scénarios, plusieurs ancres sont nécessaires pour distinguer une cible d’autres éléments similaires appelés doublons. Par exemple, si un formulaire contient des sections pour l’adresse de facturation et l’adresse d’expédition, les zones de texte dans ces sections apparaissent deux fois avec le même libellé, de sorte que vous devez ajouter à la fois les libellés (p. ex., « Code postal ») et le titre de la section (p. ex., « Adresse de facturation ») comme ancres pour identifier la bonne zone de texte.

Indication d'une cible

Dans la plupart des cas, tout ce que vous avez à faire pour définir une cible est de placer le pointeur dessus à l’écran et de cliquer. Les méthodes requises pour identifier la cible et toute ancre appropriée sont détectées et leurs propriétés sont générées automatiquement.

Pour indiquer une cible :

Cliquez sur Indiquer la cible à l’écran à l’intérieur d’une activité Ui Automation Next.

Le mode de sélection de cible est ouvert. Lorsque vous déplacez la souris, tous les éléments d’IU reconnus sont mis en surbrillance. La fenêtre Options de sélection apparaît à l’écran. Elle présente des informations sur l’état d’identification de la cible et des options supplémentaires.
Placez le pointeur de la souris sur l’élément désiré, assurez-vous qu’il est mis en surbrillance, puis cliquez dessus.
- Si l’élément cible est identifié, il est mis en surbrillance en vert.
  - Si une ancre a également été automatiquement sélectionnée, elle est mise en surbrillance en bleu.
  - Si une ancre n’a pas été automatiquement sélectionnée, vous pouvez cliquer sur un élément à proximité qui permet d’identifier la cible (par exemple, un libellé ou un titre) pour l’ajouter comme ancre.
  - Pour ajouter une ancre supplémentaire, pointez l’élément cible, sélectionnez Ajouter une ancre dans le menu de survol, puis cliquez sur l’élément à ajouter comme ancre.
- Si la cible n’a pas été identifiée parce qu’il y a trop d’autres éléments similaires à l’écran, l’élément est mis en surbrillance en rouge et les éléments similaires sont mis en surbrillance comme doublons en jaune. Cliquez sur un autre élément sur l’écran pour l’ajouter comme ancre.
  - Si la sélection est valide, la cible et l’ancre sont mises en surbrillance en vert et bleu respectivement.
  - Si la cible et l’ancre sont mises en surbrillance et apparaissent en rouge, cela signifie que la sélection n’est toujours pas valide. Pointez l’élément que vous avez indiqué comme étant la cible et cliquez sur Ajouter une ancre dans le menu de survol pour ajouter une deuxième ancre. Le cas échéant, répétez cette action pour ajouter une troisième ancre.
- Pour compléter l’identification de la cible, cliquez sur Confirmer dans la fenêtre Options de sélection. Vous pouvez également confirmer en cliquant sur dans le menu de survol de la cible ou en appuyant sur la touche d'entrée de votre clavier.
  
  La cible est configurée et l’activité affiche une capture d’écran de la cible et de toutes les ancres qui ont été ajoutées.

Des options supplémentaires sont disponibles dans la fenêtre Options de sélection (Selection Options) pour vous aider à indiquer les éléments suivants :

Si un élément n’apparaît pas à l'écran ou si l’état de l'application n'est pas approprié, vous pouvez appuyer sur la touche F2 de votre clavier pour ne pas sélectionner l'élément pendant que vous réglez l’application afin que son état soit approprié.

Cette option est utile pour les éléments qui nécessitent l'implémentation d'une action supplémentaire pour qu'ils apparaissent à l’écran ou disparaissent facilement de ce dernier. Par exemple, si vous souhaitez indiquer des éléments spécifiques dans les menus déroulants ou de survol, vous pouvez, pour les activer, interrompre la sélection pendant que vous cliquez dans le menu déroulant ou déplacez le pointeur de souris par-dessus un menu de survol.
Passez au mode de sélection d’image. Appuyez sur F3 sur votre clavier pour passer à l’identification par l’image seulement, puis utilisez votre souris pour sélectionner une région visible de la fenêtre d’application utilisable comme cible ou ancre.
Modifiez l’infrastructure d’IU. Par défaut, une infrastructure propriétaire est utilisée pour accéder à la fenêtre d’application cible. Si une cible n’est pas détectée, essayez de changer l'infrastructure en appuyant sur F4 sur votre clavier. Sélectionnez AA (Active Accessibility) pour les applications plus anciennes ou UIA (Microsoft UI Automation) pour les applications plus récentes. Une fois que vous avez sélectionné une cible, l’option de modification de l’infrastructure d’IU n’est plus disponible.

Modification d’une cible

Si la cible n’est pas identifiée correctement lors de l’exécution du projet, vous pouvez modifier la cible et ses ancres après l’avoir indiquée en sélectionnant > Modifier la cible dans le corps de l’activité. Le mode de sélection avec la cible s'ouvre et toutes les ancres identifiées sont mises en évidence. Un menu s’affiche lorsque vous pointez la souris au-dessus d’une cible ou d’une ancre.

Pour supprimer une cible ou une ancre, pointez-la, puis cliquez sur Supprimer dans le menu de survol. Si vous supprimez une cible, le premier élément sur lequel vous cliquez est ajouté comme nouvelle cible.
Pour ajouter une ancre à une cible, cliquez sur l’élément à ajouter comme ancre. Selon les paramètres de votre projet, vous devrez peut-être cliquer sur Ajouter une ancre ( Add Anchor ) dans le menu de survol de la cible en premier. Vous pouvez ajouter jusqu'à trois ancres pour chaque cible.
Pour supprimer une cible ou une ancre, pointez-la, puis cliquez sur Supprimer dans le menu de survol. Les propriétés des méthodes utilisées pour détecter l’élément peuvent être modifiées à partir de la section Paramètres avancés de la fenêtre Options de sélection :
- Sélecteur / Sélecteur de correspondances approximatives
  - Modifiez le sélecteur à l’aide de la zone de texte correspondante. Pour copier le sélecteur afin de le coller dans un autre élément ou l'éditer dans UI Explorer, cliquez sur Copier à côté du sélecteur.
    
    Vous pouvez également utiliser des variables dans les valeurs d'attribut. Les variables doivent être entourées d'accolades doubles. Par exemple, <wnd name='da{{var1}}'/> ajoute la valeur de var1 au sélecteur. La valeur par défaut de la variable est utilisée au moment de la conception.
  - Concernant les sélecteurs approximatifs, vous pouvez modifier le niveau de Précision du sélecteur en faisant glisser le curseur correspondant de 0,4 à 1. Cette mesure correspond au niveau de similitude entre l’attribut que vous recherchez et celui à trouver. Pour trouver des résultats avec une similitude plus élevée, augmentez la valeur. La valeur par défaut est de 0,7.
- Image
  - Modifiez le niveau de précision de l’image en faisant glisser le curseur correspondant de 0,4 à 1. Cette mesure exprime le niveau de similitude entre l’image que vous recherchez et celle à trouver. Dans les situations où l’image à trouver peut être légèrement différente de celle que vous recherchez, vous pouvez diminuer la précision. La valeur par défaut est de 0,8.
- Désactivez/activez une méthode en désélectionnant/sélectionnant la case à côté de son nom.
- Vérifiez l’unicité d’une méthode en cliquant sur Afficher toutes les correspondances ( Show all matchs). à côté. Cela permet de vérifier tous les éléments de la fenêtre et met en évidence toutes les similarités avec l’élément actuellement sélectionné en jaune.
- Cliquez sur Appliquer (Apply) pour enregistrer les modifications, puis sur Valider (Validate) si vous souhaitez valider la sélection. Pour enregistrer la sélection, cliquez sur Confirmer.

Validation de votre sélection

La validation vous permet de vérifier l’efficacité de la sélection actuelle en termes d’identification de la cible en la vérifiant à l’aide de l'ensemble des méthodes et ancrages sélectionnés. Le résultat de la validation s’affiche en haut de la fenêtre Options de sélection (Selection Options). Si des ajustements sont nécessaires, un message s’affiche avec des informations sur la façon d’améliorer la sélection.

Les performances de chaque méthode sont affichées dans la section Paramètres avancés de la fenêtre Options de sélection et représentées à l’aide de l’une des icônes suivantes :